Узнайте как правильно запретить поисковым роботам индексацию определенной страницы с помощью robots.txt: объясняем как использовать директиву Disallow и как составить файл txt для правильной индексации.
Robots.txt — файл с правилами для поисковых роботов, позволяющий запретить индексацию всей или части страниц сайта. К примеру, чтобы запретить индексацию всего сайта, необходимо добавить директиву User-agent: * Disallow: /.
